Vào năm 1936, Không lực Lục quân Đế quốc Nhật Bản công bố một yêu cầu về một kiểu máy bay ném bom hạng nặng có số thành viên đội bay ít nhất bốn người, tốc độ tối đa 400 km/h, có khả năng bay trên không ít nhất năm giờ, và mang được tải trọng bom 750 kg. Các hãng Mitsubishi và Nakajima đã chế tạo những chiếc nguyên mẫu, kết quả của cuộc cạnh tranh cho thấy thiết kế Ki-21 của Mitsubishi tỏ ra trội hơn kiểu Ki-19 của hãng cạnh tranh. Tuy nhiên, sau quá trình đánh giá cả hai kiểu máy bay, Mitsubishi được yêu cầu thay đổi kiểu động cơ Ha-6 bố trí hình tròn sang sử dụng kiểu Nakajima Ha-5 vốn được sử dụng trên chiếc Ki-19, và sau khi cải tiến bề mặt cánh đuôi, chiếc Ki-21 được chấp nhận đưa vào sản xuất hằng loạt như là kiểu "Máy bay ném bom hạng nặng Lục quân Loại 97 Kiểu 1A". Chiếc máy bay được bắt đầu đưa ra hoạt động vào mùa Hè năm 1938, thay thế cho kiểu máy bay ném bom Fiat BR.20 vốn bị buộc phải mua để lấp vào vai trò được dự định cho chiếc Ki-21.

Các phiên bản cải tiến được tiếp tục đưa ra cho đến khi việc sản xuất kết thúc vào tháng 9 năm 1944.